พระบาทสมเด็จพระสีสุวัตถิ์ มุนีวงศ์ โปรดและพอพระราชหฤทัยที่จะถูกห้อมล้อมด้วยพระชายาและพระสนมจำนวนมากมาย รวมถึงนางรำด้วย โดยพระองค์มีพระสนมที่เป็นนางรำชาวไทยหนึ่งพระองค์ คือ นางสาวแพน เรืองนนท์ ภายหลังถูกตั้งเป็นเจ้าจอมสีสุวัตถิ์ อำไพพงศ์ (Chao Chom Srivasti Amphaibongse) ต่อมาเธอได้ถูกออกจากราชสำนัก โดยทางกงสุลฝรั่งเศสในไทยได้ออกแถลงการณ์ฉบับที่ 2 ความว่า "กษัตริย์สีสุวัตถิ์ มุนีวงศ์ แห่งกัมพูชา ทรงไม่พอพระพระทัยและปฏิเสธข้อมูลที่คลาดเคลื่อนและไร้สาระจากการให้สัมภาษณ์ของบิดาของนางสาวแพน จึงทรงบัญชาให้ส่งตัวนางสาวแพนกลับกรุงเทพโดยทันที" โดยนางสาวแพนได้กลับมาในวันรุ่งขึ้น และไม่มีโอกาสได้กลับไปยังราชสำนักกัมพูชาอีกเลย[5]